

<!DOCTYPE html>
<html lang="zh-CN" data-default-color-scheme=auto>



<head>
  <meta charset="UTF-8">
  <link rel="apple-touch-icon" sizes="76x76" href="/img/fluid.png">
  <link rel="icon" href="/img/fluid.png">
  <meta name="viewport" content="width=device-width, initial-scale=1.0, maximum-scale=5.0, shrink-to-fit=no">
  <meta http-equiv="x-ua-compatible" content="ie=edge">
  
  <meta name="theme-color" content="#2f4154">
  <meta name="author" content="John Doe">
  <meta name="keywords" content="">
  
    <meta name="description" content="@[toc] 参考资料  《大数据技术原理与应用（第3版）》——林子雨 版本  视频资料   运行环境  JDK8 Hadoop3.1.3  一、HDFS 体系结构 HDFS采用了主从（Master&#x2F;Slave）结构模型，一个HDFS集群包括一个名称节点（NameNode）和若干个数据节点（DataNode）        所有的HDFS通信协议都是构建在TCP&#x2F;IP协议基础之">
<meta property="og:type" content="article">
<meta property="og:title" content="Hadoop _ HDFS 学习笔记（三）HDFS 读写流程 _ NN、2NN、DN 工作机制 _ FsImage与Edits的合并">
<meta property="og:url" content="http://example.com/2022/01/18/Hadoop%20_%20HDFS%20%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0%EF%BC%88%E4%B8%89%EF%BC%89HDFS%20%E8%AF%BB%E5%86%99%E6%B5%81%E7%A8%8B%20_%20NN%E3%80%812NN%E3%80%81DN%20%E5%B7%A5%E4%BD%9C%E6%9C%BA%E5%88%B6%20_%20FsImage%E4%B8%8EEdits%E7%9A%84%E5%90%88%E5%B9%B6/index.html">
<meta property="og:site_name" content="Hexo">
<meta property="og:description" content="@[toc] 参考资料  《大数据技术原理与应用（第3版）》——林子雨 版本  视频资料   运行环境  JDK8 Hadoop3.1.3  一、HDFS 体系结构 HDFS采用了主从（Master&#x2F;Slave）结构模型，一个HDFS集群包括一个名称节点（NameNode）和若干个数据节点（DataNode）        所有的HDFS通信协议都是构建在TCP&#x2F;IP协议基础之">
<meta property="og:locale" content="zh_CN">
<meta property="og:image" content="https://img-blog.csdnimg.cn/086fb031009045b5b998aadf68893869.png">
<meta property="og:image" content="https://img-blog.csdnimg.cn/63130d5491414be3bbedb607704c841c.png#pic_center">
<meta property="og:image" content="https://img-blog.csdnimg.cn/7f199935bc0841daa40dc973f066ed9c.png#pic_center">
<meta property="og:image" content="https://img-blog.csdnimg.cn/3fcb7b0cd18146d4867d3c4d233f453d.png">
<meta property="og:image" content="https://img-blog.csdnimg.cn/1d9404ec29ae4ce0970ade9a444cfd59.png#pic_center">
<meta property="og:image" content="https://img-blog.csdnimg.cn/9e38b7f4b04d4bb99d076c20c3a41847.png#pic_center">
<meta property="og:image" content="https://img-blog.csdnimg.cn/6fdc4ad75ae04b54b147efcd7e5c270c.png#pic_center">
<meta property="og:image" content="https://img-blog.csdnimg.cn/949b1fa2cb1a402b9776b6a79897b061.png">
<meta property="og:image" content="https://img-blog.csdnimg.cn/7f60c38fd3b547f184a183866458db87.png#pic_center">
<meta property="article:published_time" content="2022-01-18T10:02:20.000Z">
<meta property="article:modified_time" content="2022-08-22T15:43:58.217Z">
<meta property="article:author" content="John Doe">
<meta property="article:tag" content="HDFS">
<meta name="twitter:card" content="summary_large_image">
<meta name="twitter:image" content="https://img-blog.csdnimg.cn/086fb031009045b5b998aadf68893869.png">
  
  
  
  <title>Hadoop _ HDFS 学习笔记（三）HDFS 读写流程 _ NN、2NN、DN 工作机制 _ FsImage与Edits的合并 - Hexo</title>

  <link  rel="stylesheet" href="https://lib.baomitu.com/twitter-bootstrap/4.6.1/css/bootstrap.min.css" />



  <link  rel="stylesheet" href="https://lib.baomitu.com/github-markdown-css/4.0.0/github-markdown.min.css" />

  <link  rel="stylesheet" href="https://lib.baomitu.com/hint.css/2.7.0/hint.min.css" />

  <link  rel="stylesheet" href="https://lib.baomitu.com/fancybox/3.5.7/jquery.fancybox.min.css" />



<!-- 主题依赖的图标库，不要自行修改 -->
<!-- Do not modify the link that theme dependent icons -->

<link rel="stylesheet" href="//at.alicdn.com/t/font_1749284_hj8rtnfg7um.css">



<link rel="stylesheet" href="//at.alicdn.com/t/font_1736178_lbnruvf0jn.css">


<link  rel="stylesheet" href="/css/main.css" />


  <link id="highlight-css" rel="stylesheet" href="/css/highlight.css" />
  
    <link id="highlight-css-dark" rel="stylesheet" href="/css/highlight-dark.css" />
  




  <script id="fluid-configs">
    var Fluid = window.Fluid || {};
    Fluid.ctx = Object.assign({}, Fluid.ctx)
    var CONFIG = {"hostname":"example.com","root":"/","version":"1.9.2","typing":{"enable":true,"typeSpeed":70,"cursorChar":"_","loop":false,"scope":[]},"anchorjs":{"enable":true,"element":"h1,h2,h3,h4,h5,h6","placement":"left","visible":"hover","icon":""},"progressbar":{"enable":true,"height_px":3,"color":"#29d","options":{"showSpinner":false,"trickleSpeed":100}},"code_language":{"enable":true,"default":"TEXT"},"copy_btn":true,"image_caption":{"enable":true},"image_zoom":{"enable":true,"img_url_replace":["",""]},"toc":{"enable":true,"placement":"right","headingSelector":"h1,h2,h3,h4,h5,h6","collapseDepth":0},"lazyload":{"enable":true,"loading_img":"/img/loading.gif","onlypost":false,"offset_factor":2},"web_analytics":{"enable":false,"follow_dnt":true,"baidu":null,"google":null,"gtag":null,"tencent":{"sid":null,"cid":null},"woyaola":null,"cnzz":null,"leancloud":{"app_id":null,"app_key":null,"server_url":null,"path":"window.location.pathname","ignore_local":false}},"search_path":"/local-search.xml"};

    if (CONFIG.web_analytics.follow_dnt) {
      var dntVal = navigator.doNotTrack || window.doNotTrack || navigator.msDoNotTrack;
      Fluid.ctx.dnt = dntVal && (dntVal.startsWith('1') || dntVal.startsWith('yes') || dntVal.startsWith('on'));
    }
  </script>
  <script  src="/js/utils.js" ></script>
  <script  src="/js/color-schema.js" ></script>
  


  
<meta name="generator" content="Hexo 6.2.0"></head>


<body>
  

  <header>
    

<div class="header-inner" style="height: 70vh;">
  <nav id="navbar" class="navbar fixed-top  navbar-expand-lg navbar-dark scrolling-navbar">
  <div class="container">
    <a class="navbar-brand" href="/">
      <strong>尤 Ni&#39;s Blog</strong>
    </a>

    <button id="navbar-toggler-btn" class="navbar-toggler" type="button" data-toggle="collapse"
            data-target="#navbarSupportedContent"
            aria-controls="navbarSupportedContent" aria-expanded="false" aria-label="Toggle navigation">
      <div class="animated-icon"><span></span><span></span><span></span></div>
    </button>

    <!-- Collapsible content -->
    <div class="collapse navbar-collapse" id="navbarSupportedContent">
      <ul class="navbar-nav ml-auto text-center">
        
          
          
          
          
            <li class="nav-item">
              <a class="nav-link" href="/">
                <i class="iconfont icon-home-fill"></i>
                首页
              </a>
            </li>
          
        
          
          
          
          
            <li class="nav-item">
              <a class="nav-link" href="/archives/">
                <i class="iconfont icon-archive-fill"></i>
                归档
              </a>
            </li>
          
        
          
          
          
          
            <li class="nav-item">
              <a class="nav-link" href="/categories/">
                <i class="iconfont icon-category-fill"></i>
                分类
              </a>
            </li>
          
        
          
          
          
          
            <li class="nav-item">
              <a class="nav-link" href="/tags/">
                <i class="iconfont icon-tags-fill"></i>
                标签
              </a>
            </li>
          
        
          
          
          
          
            <li class="nav-item">
              <a class="nav-link" href="/about/">
                <i class="iconfont icon-user-fill"></i>
                关于
              </a>
            </li>
          
        
        
          <li class="nav-item" id="search-btn">
            <a class="nav-link" target="_self" href="javascript:;" data-toggle="modal" data-target="#modalSearch" aria-label="Search">
              &nbsp;<i class="iconfont icon-search"></i>&nbsp;
            </a>
          </li>
          
        
        
          <li class="nav-item" id="color-toggle-btn">
            <a class="nav-link" target="_self" href="javascript:;" aria-label="Color Toggle">&nbsp;<i
                class="iconfont icon-dark" id="color-toggle-icon"></i>&nbsp;</a>
          </li>
        
      </ul>
    </div>
  </div>
</nav>

  

<div id="banner" class="banner" parallax=true
     style="background: url('/img/default.png') no-repeat center center; background-size: cover;">
  <div class="full-bg-img">
    <div class="mask flex-center" style="background-color: rgba(0, 0, 0, 0.3)">
      <div class="banner-text text-center fade-in-up">
        <div class="h2">
          
            <span id="subtitle" data-typed-text="Hadoop _ HDFS 学习笔记（三）HDFS 读写流程 _ NN、2NN、DN 工作机制 _ FsImage与Edits的合并"></span>
          
        </div>

        
          
  <div class="mt-3">
    
      <span class="post-meta mr-2">
        <i class="iconfont icon-author" aria-hidden="true"></i>
        John Doe
      </span>
    
    
      <span class="post-meta">
        <i class="iconfont icon-date-fill" aria-hidden="true"></i>
        <time datetime="2022-01-18 18:02" pubdate>
          2022年1月18日 晚上
        </time>
      </span>
    
  </div>

  <div class="mt-1">
    
      <span class="post-meta mr-2">
        <i class="iconfont icon-chart"></i>
        
          9.6k 字
        
      </span>
    

    
      <span class="post-meta mr-2">
        <i class="iconfont icon-clock-fill"></i>
        
        
        
          81 分钟
        
      </span>
    

    
    
  </div>


        
      </div>

      
    </div>
  </div>
</div>

</div>

  </header>

  <main>
    
      

<div class="container-fluid nopadding-x">
  <div class="row nomargin-x">
    <div class="side-col d-none d-lg-block col-lg-2">
      

    </div>

    <div class="col-lg-8 nopadding-x-md">
      <div class="container nopadding-x-md" id="board-ctn">
        <div id="board">
          <article class="post-content mx-auto">
            <!-- SEO header -->
            <h1 style="display: none">Hadoop _ HDFS 学习笔记（三）HDFS 读写流程 _ NN、2NN、DN 工作机制 _ FsImage与Edits的合并</h1>
            
              <p class="note note-info">
                
                  
                    本文最后更新于：1 小时前
                  
                
              </p>
            
            
              <div class="markdown-body">
                
                <p>@[toc]</p>
<h1 id="参考资料"><a href="#参考资料" class="headerlink" title="参考资料"></a>参考资料</h1><hr>
<ul>
<li><p>《大数据技术原理与应用（第3版）》——<a target="_blank" rel="noopener" href="http://dblab.xmu.edu.cn/post/linziyu">林子雨</a> 版本</p>
</li>
<li><p><a target="_blank" rel="noopener" href="https://www.bilibili.com/video/BV1Qp4y1n7EN?p=55&spm_id_from=pageDriver">视频资料</a></p>
</li>
</ul>
<h1 id="运行环境"><a href="#运行环境" class="headerlink" title="运行环境"></a>运行环境</h1><hr>
<ul>
<li>JDK8</li>
<li>Hadoop3.1.3</li>
</ul>
<h1 id="一、HDFS-体系结构"><a href="#一、HDFS-体系结构" class="headerlink" title="一、HDFS 体系结构"></a>一、HDFS 体系结构</h1><hr>
<p>HDFS采用了主从（Master&#x2F;Slave）结构模型，一个HDFS集群包括一个名称节点（NameNode）和若干个数据节点（DataNode）<br>        所有的HDFS通信协议都是构建在TCP&#x2F;IP协议基础之上的<br>        名称节点和数据节点之间则使用数据节点协议进行交互</p>
<p><img src="https://img-blog.csdnimg.cn/086fb031009045b5b998aadf68893869.png" srcset="/img/loading.gif" lazyload alt="在这里插入图片描述"></p>
<h1 id="二、HDFS-存储原理"><a href="#二、HDFS-存储原理" class="headerlink" title="二、HDFS 存储原理"></a>二、HDFS 存储原理</h1><hr>
<h2 id="2-1-冗余数据保存"><a href="#2-1-冗余数据保存" class="headerlink" title="2.1 冗余数据保存"></a>2.1 冗余数据保存</h2><p>HDFS采用多副本方式对数据进行冗余存储，通常一个数据块的多个副本会被分不到不同的DataNode节点。优点有：</p>
<ul>
<li>加快数据传输速度</li>
<li>容易检查数据错误</li>
<li>保证数据可靠性</li>
</ul>
<h2 id="2-2-数据存取策略"><a href="#2-2-数据存取策略" class="headerlink" title="2.2 数据存取策略"></a>2.2 数据存取策略</h2><h3 id="2-2-1-数据存放"><a href="#2-2-1-数据存放" class="headerlink" title="2.2.1 数据存放"></a>2.2.1 数据存放</h3><p>第一个副本：放置在上传文件的数据节点，若是集群外提交，则随机挑选资源相对充足的节点<br>第二个副本：放置在与第一个副本<strong>不同的机架</strong>的节点上<br>第三个副本：防止在于第二个副本<strong>相同机架</strong>的其他节点上<br>更多副本：随机节点</p>
<h3 id="2-2-2-数据读取"><a href="#2-2-2-数据读取" class="headerlink" title="2.2.2 数据读取"></a>2.2.2 数据读取</h3><p>HDFS提供一个API可确定数据节点的机架ID，<code>Client </code>可以通过调用API查询。</p>
<p>当 <code>Client</code>读取HDFS数据时，从<code>NN</code>获得<code>Block</code>不同副本的存放位置列表，列表包含了副本所在的<code>DN</code>，然后可调用API确定<code>Client</code>和这些<code>DN</code>所属的机架ID</p>
<p>当发现某个<code>Block</code>副本的机架ID和<code>Client</code>对应的 机架ID相同时就优先选择该副本读取数据，若没有就随机选择一个副本。</p>
<h2 id="2-3-数据错误与恢复"><a href="#2-3-数据错误与恢复" class="headerlink" title="2.3 数据错误与恢复"></a>2.3 数据错误与恢复</h2><h3 id="2-3-1-NN出错"><a href="#2-3-1-NN出错" class="headerlink" title="2.3.1 NN出错"></a>2.3.1 NN出错</h3><p><code>NN</code>存储了<code> FsImage</code>和<code>EditLog</code>信息，若损坏则根据<code>2NN</code>中的<code>FsImage</code>和<code>Editlog</code>数据进行恢复。</p>
<h3 id="2-3-2-DN出错"><a href="#2-3-2-DN出错" class="headerlink" title="2.3.2 DN出错"></a>2.3.2 DN出错</h3><ul>
<li>每个<code>DN</code>会定期向<code>NN</code>发送“心跳”信息，以汇报自身的状态</li>
<li>当<code>DN</code>故障，会被标记为“宕机”，<code>NN</code>不会再发送I&#x2F;O请求</li>
<li><code>NN</code>会定期检查，防止出现<code>Block</code>的副本数小于冗余因子的情况，若发生就数据冗余复制，生成新副本。</li>
</ul>
<p>HDFS与其他分布式文件系统最大区别就是：<strong>可调整冗余数据的位置。</strong></p>
<h3 id="2-3-3-数据出错"><a href="#2-3-3-数据出错" class="headerlink" title="2.3.3 数据出错"></a>2.3.3 数据出错</h3><p>可能造成的原因： 网络传输问题 或 磁盘错误 等</p>
<p><code>Client</code>读取数据后会采用 校验算法（crc、mdk5等）对文件进行校验，以确定读取到正确数据</p>
<p><code>Client</code> 读取HDFS文件时，先读取信息文件，利用该文件对每个读取的<code>Block</code>进行校验</p>
<p>若出错，那么<code>Client</code>会请求到另一个<code>DN</code>读取该文件的<code>Block</code>，并且向NN报告该<code>Block</code>有错</p>
<p>NN会定期检查并重新复制这些 <code>Block</code></p>
<h1 id="三、HDFS-读写过程"><a href="#三、HDFS-读写过程" class="headerlink" title="三、HDFS 读写过程"></a>三、HDFS 读写过程</h1><p>通过HDFS Java API 的实现来理解HDFS读写流程，可参考文章 <a target="_blank" rel="noopener" href="https://blog.csdn.net/Unirithe/article/details/122538562">【Hadoop | HDFS 学习笔记（二）| HDFS Java API 环境搭建 | Java操作HDFS文件系统 | 多案例】</a></p>
<p>实现代码（uri为在HDFS需操作的文件路径）：</p>
<figure class="highlight java"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br></pre></td><td class="code"><pre><code class="hljs java"><span class="hljs-type">Configuration</span> <span class="hljs-variable">conf</span> <span class="hljs-operator">=</span> <span class="hljs-keyword">new</span> <span class="hljs-title class_">Configuration</span>();                          <br>conf.set(<span class="hljs-string">&quot;fs.defaultFS&quot;</span>,<span class="hljs-string">&quot;hdfs://localhost:9000&quot;</span>);                        <br>conf.set(<span class="hljs-string">&quot;fs.hdfs.impl&quot;</span>,<span class="hljs-string">&quot;org.apache.hadoop.hdfs.DistributedFileSystem&quot;</span>);<br><span class="hljs-type">FileSystem</span> <span class="hljs-variable">fs</span> <span class="hljs-operator">=</span> FileSystem.get(conf);<br><span class="hljs-type">FSDataInputStream</span> <span class="hljs-variable">in</span> <span class="hljs-operator">=</span> fs.open(<span class="hljs-keyword">new</span> <span class="hljs-title class_">Path</span>(uri));<br><span class="hljs-type">FSDataOutputStream</span> <span class="hljs-variable">out</span> <span class="hljs-operator">=</span> fs.create(<span class="hljs-keyword">new</span> <span class="hljs-title class_">Path</span>(uri));<br></code></pre></td></tr></table></figure>
<p>首先了解这几个类的作用：</p>
<table>
<thead>
<tr>
<th align="left">类名</th>
<th align="left">描述</th>
</tr>
</thead>
<tbody><tr>
<td align="left"><code>FileSystem</code></td>
<td align="left">通用文件系统的抽象基类，可被分布式文件系统集成，支持Hadoop文件系统相关操作</td>
</tr>
<tr>
<td align="left"><code>DistrubutedFileSystem</code></td>
<td align="left">是FileSystem在HDFS文件系统中的具体实现类</td>
</tr>
<tr>
<td align="left"><code>FSDataInputStream</code></td>
<td align="left">HDFS的输入流对象，用于获取HDFS文件的数据</td>
</tr>
<tr>
<td align="left"><code>FSDataOutputStream</code></td>
<td align="left">HDFS的输出流对象，用于将数据写入到HDFS文件</td>
</tr>
</tbody></table>
<p>在3.x版本中，输入输出流对象的使用都封装到了 <code>org.apache.hadoop.fs.FileUtil</code>里，比如在执行<code>CopyFromLocalFile</code>方法时，笔者通过调试发现了底层调用的部分：</p>
<p>![在这里插入图片描述](<a target="_blank" rel="noopener" href="https://img-blog.csdnimg.cn/288f24da1c324ea79180b0480454ed4e.png#">https://img-blog.csdnimg.cn/288f24da1c324ea79180b0480454ed4e.png#</a> &#x3D;60%x)<br>![在这里插入图片描述](<a target="_blank" rel="noopener" href="https://img-blog.csdnimg.cn/0c5b2b86888e46308fba6e01adddf4bc.png#">https://img-blog.csdnimg.cn/0c5b2b86888e46308fba6e01adddf4bc.png#</a> &#x3D;60%x)<br>通过调试能更好的理解这个调用的流程，不过由于目前的知识面比较浅，暂时只能粗略调试。</p>
<h2 id="3-1-读流程"><a href="#3-1-读流程" class="headerlink" title="3.1 读流程"></a>3.1 读流程</h2><h3 id="过程与分析"><a href="#过程与分析" class="headerlink" title="过程与分析"></a>过程与分析</h3><p><img src="https://img-blog.csdnimg.cn/63130d5491414be3bbedb607704c841c.png#pic_center" srcset="/img/loading.gif" lazyload alt="在这里插入图片描述"></p>
<p>主要分为4个步骤：</p>
<ol>
<li><code>Client</code> 通过 <code>DistributedFileSystem</code> 向 <code>NN</code> 请求读取&#x2F;下载文件，<code>NN</code>通过查询元数组，找到<code>Block</code>所在的<code>DN</code>地址<br>2.<code> Client</code> 挑选一台<code>DN</code>服务器（就近原则，然后随机），请求读取数据</li>
<li><code>DN</code> 开始 传输数据给 <code>Client</code>（从磁盘读取数据输入流，以<code>Packet</code>为单位做校验）</li>
<li><code>Client </code>以 <code>Packet</code> 为单位接收，先在本地缓存，然后写入目标文件。</li>
</ol>
<h2 id="3-2-写流程"><a href="#3-2-写流程" class="headerlink" title="3.2 写流程"></a>3.2 写流程</h2><h3 id="3-2-1-过程与分析"><a href="#3-2-1-过程与分析" class="headerlink" title="3.2.1 过程与分析"></a>3.2.1 过程与分析<img src="https://img-blog.csdnimg.cn/7f199935bc0841daa40dc973f066ed9c.png#pic_center" srcset="/img/loading.gif" lazyload alt="在这里插入图片描述"></h3><p>主要分为9个步骤：</p>
<ol>
<li><code>Client</code> 通过 <code>DistributeFileSystem</code>类向 NN 请求上传文件，NN检查文件是否已存在，父目录是否存在</li>
<li><code> NN</code>响应此次请求，返回是否可以上传</li>
<li><code>Client</code>向 <code>NN</code> 请求上传第一个 <code>Block </code></li>
<li><code>NN</code> 根据选择策略（本机架当前节点 &gt; 其他机架节点 &gt; 本机架其他节点 &gt; 随机节点） ，返回3个存储文件副本的DN节点，<code>DN1、DN2、DN3</code></li>
<li>获取到<code> DN</code>节点后，<code>Client </code>通过 <code>FSDataOutputStream</code> 类向<code>DN1</code>请求上传数据，<code>DN1</code>收到请求后会继续调用<code>DN2、DN2</code>又调用<code>DN3</code>，建立成一个通信管道。</li>
<li><code>DN1、DN2、DN3</code> 逐级应答客户端</li>
<li>建立通信管道后，<code>Client</code> 开始往 <code>DN1</code> 上传 第一个<code>Block</code>，先从磁盘读取数据放到一个本地内存进行缓存，以 <code>Packet </code>为单位，<code>DN1</code>收到后就传给<code>DN2、DN2</code>收到后就传给<code>DN3</code>，<code>DN1</code>每传一个<code>Packet</code>就会放入一个应答队列等待应答</li>
<li>当一个<code>Block</code> 传输完成之后，<code>Client</code> 再次请求 <code>NN</code>上传到下个<code>Bloc</code>k的服务器，重复执行3-8部分</li>
<li>最后传输完毕，<code>Client</code>将处理的信息提交给 <code>NN</code></li>
</ol>
<h3 id="3-2-2-网络拓扑-节点NN与DN之间的距离计算"><a href="#3-2-2-网络拓扑-节点NN与DN之间的距离计算" class="headerlink" title="3.2.2 网络拓扑-节点NN与DN之间的距离计算"></a>3.2.2 网络拓扑-节点NN与DN之间的距离计算</h3><p>在HDFS写数据过程，NN会选择距离待上传数据最近距离的DN接收，这个节点距离等于<strong>两个节点到达最近的<code>共同祖先</code>的距离总和。</strong> 以<strong>尚硅谷机构</strong>提供的这张图为例：<br><img src="https://img-blog.csdnimg.cn/3fcb7b0cd18146d4867d3c4d233f453d.png" srcset="/img/loading.gif" lazyload alt="在这里插入图片描述"><br>集群分为d1、d2，机架又分为r1、r2、r3、r4、r5、r6，而集群节点都称为n1、n2、n3。可以把它们看成是多叉树里的一个节点。</p>
<h3 id="3-2-3-机架感知（副本存储节点选择）"><a href="#3-2-3-机架感知（副本存储节点选择）" class="headerlink" title="3.2.3 机架感知（副本存储节点选择）"></a>3.2.3 机架感知（副本存储节点选择）</h3><p>首先回顾 HDFS的写流程，首先，Client向NN申请上传文件，NN检查文件用户是否有权限、然后再检查是否存在，若符合就响应Client提示允许上传，接着Client请求上传第一个Block，此时NN就需要根据一个策略来选择元数据里的DN负责存储这个副本了，在API中是在 <code>BlockPlacementPolicyDefault</code>类的<code>chooseTargetInOrder</code>方法实现的。<br>对应包的 Maven 依赖</p>
<figure class="highlight xml"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br></pre></td><td class="code"><pre><code class="hljs xml"><span class="hljs-tag">&lt;<span class="hljs-name">dependency</span>&gt;</span><br>    <span class="hljs-tag">&lt;<span class="hljs-name">groupId</span>&gt;</span>org.apache.hadoop<span class="hljs-tag">&lt;/<span class="hljs-name">groupId</span>&gt;</span><br>    <span class="hljs-tag">&lt;<span class="hljs-name">artifactId</span>&gt;</span>hadoop-hdfs<span class="hljs-tag">&lt;/<span class="hljs-name">artifactId</span>&gt;</span><br>    <span class="hljs-tag">&lt;<span class="hljs-name">version</span>&gt;</span>3.1.3<span class="hljs-tag">&lt;/<span class="hljs-name">version</span>&gt;</span><br><span class="hljs-tag">&lt;/<span class="hljs-name">dependency</span>&gt;</span><br></code></pre></td></tr></table></figure>
<p><img src="https://img-blog.csdnimg.cn/1d9404ec29ae4ce0970ade9a444cfd59.png#pic_center" srcset="/img/loading.gif" lazyload alt="在这里插入图片描述"></p>
<figure class="highlight java"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br><span class="line">12</span><br><span class="line">13</span><br><span class="line">14</span><br><span class="line">15</span><br><span class="line">16</span><br><span class="line">17</span><br><span class="line">18</span><br><span class="line">19</span><br><span class="line">20</span><br><span class="line">21</span><br><span class="line">22</span><br><span class="line">23</span><br><span class="line">24</span><br><span class="line">25</span><br><span class="line">26</span><br><span class="line">27</span><br><span class="line">28</span><br><span class="line">29</span><br><span class="line">30</span><br><span class="line">31</span><br><span class="line">32</span><br><span class="line">33</span><br><span class="line">34</span><br><span class="line">35</span><br><span class="line">36</span><br><span class="line">37</span><br><span class="line">38</span><br><span class="line">39</span><br><span class="line">40</span><br><span class="line">41</span><br><span class="line">42</span><br><span class="line">43</span><br><span class="line">44</span><br><span class="line">45</span><br><span class="line">46</span><br></pre></td><td class="code"><pre><code class="hljs java"><span class="hljs-keyword">final</span> <span class="hljs-type">int</span> <span class="hljs-variable">numOfResults</span> <span class="hljs-operator">=</span> results.size();<br><span class="hljs-comment">/** 第一个副本: 选择本地节点**/</span><br><span class="hljs-keyword">if</span> (numOfResults == <span class="hljs-number">0</span>) &#123;<br>  <span class="hljs-type">DatanodeStorageInfo</span> <span class="hljs-variable">storageInfo</span> <span class="hljs-operator">=</span> chooseLocalStorage(writer,<br>      excludedNodes, blocksize, maxNodesPerRack, results, avoidStaleNodes,<br>      storageTypes, <span class="hljs-literal">true</span>);<br><br>  writer = (storageInfo != <span class="hljs-literal">null</span>) ? storageInfo.getDatanodeDescriptor()<br>                                 : <span class="hljs-literal">null</span>;<br>  <br>  <span class="hljs-keyword">if</span> (--numOfReplicas == <span class="hljs-number">0</span>) &#123;<br>    <span class="hljs-keyword">return</span> writer;<br>  &#125;<br>&#125;<br>  <br><span class="hljs-keyword">final</span> <span class="hljs-type">DatanodeDescriptor</span> <span class="hljs-variable">dn0</span> <span class="hljs-operator">=</span> results.get(<span class="hljs-number">0</span>).getDatanodeDescriptor();<br> <span class="hljs-comment">/**第二个副本: 选择其他机架的节点**/</span><br><span class="hljs-keyword">if</span> (numOfResults &lt;= <span class="hljs-number">1</span>) &#123;<br>  chooseRemoteRack(<span class="hljs-number">1</span>, dn0, excludedNodes, blocksize, maxNodesPerRack,<br>      results, avoidStaleNodes, storageTypes);<br>  <span class="hljs-keyword">if</span> (--numOfReplicas == <span class="hljs-number">0</span>) &#123;<br>    <span class="hljs-keyword">return</span> writer;<br>  &#125;<br>&#125;<br><span class="hljs-comment">/**第三个副本: **/</span><br><span class="hljs-keyword">if</span> (numOfResults &lt;= <span class="hljs-number">2</span>) &#123;<br>  <span class="hljs-keyword">final</span> <span class="hljs-type">DatanodeDescriptor</span> <span class="hljs-variable">dn1</span> <span class="hljs-operator">=</span> results.get(<span class="hljs-number">1</span>).getDatanodeDescriptor();<br>  <span class="hljs-comment">/**若前两个副本在同一个机架，则选择其他机架**/</span><br>  <span class="hljs-keyword">if</span> (clusterMap.isOnSameRack(dn0, dn1)) &#123;<br>    chooseRemoteRack(<span class="hljs-number">1</span>, dn0, excludedNodes, blocksize, maxNodesPerRack,<br>        results, avoidStaleNodes, storageTypes);<br>  &#125; <span class="hljs-keyword">else</span> <span class="hljs-keyword">if</span> (newBlock)&#123;<br>    <span class="hljs-comment">/** 若是新副本块，就选择第二个副本存储的机架 **/</span><br>    chooseLocalRack(dn1, excludedNodes, blocksize, maxNodesPerRack,<br>        results, avoidStaleNodes, storageTypes);<br>  &#125; <span class="hljs-keyword">else</span> &#123;<br>    chooseLocalRack(writer, excludedNodes, blocksize, maxNodesPerRack,<br>        results, avoidStaleNodes, storageTypes);<br>  &#125;<br>  <span class="hljs-keyword">if</span> (--numOfReplicas == <span class="hljs-number">0</span>) &#123;<br>    <span class="hljs-keyword">return</span> writer;<br>  &#125;<br>&#125;<br>chooseRandom(numOfReplicas, NodeBase.ROOT, excludedNodes, blocksize,<br>    maxNodesPerRack, results, avoidStaleNodes, storageTypes);<br><span class="hljs-keyword">return</span> writer;<br></code></pre></td></tr></table></figure>
<p>官方说明：<a target="_blank" rel="noopener" href="http://hadoop.apache.org/docs/r3.1.3/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Data_Replication">点击查看</a><br><strong>摘：</strong><br>   For the common case, when the replication factor is three,HDFS’s placement policy is to put one replica on the local machine if the writer is on a datanode, otherwise on a random datanode, another replica on a node in a different (remote) rack, and the last on a different node in the same remote rack. This policy cuts the inter-rack write traffic which generally improves write performance. The chance of rack failure is far less than that of node failure;<br> <strong>译：</strong><br>对于常见情况，当复制系数为3时，HDFS的放置策略是，如果写入程序位于datanode上，则将一个副本放置在本地计算机上，否则放置在随机datanode上，另一个副本放置在不同（远程）机架中的节点上，最后一个副本放置在同一远程机架中的不同节点上。此策略减少机架间写入通信量，这通常会提高写入性能。机架故障的概率远小于节点故障的概率；</p>
<h2 id="3-3-NN和2NN的工作机制"><a href="#3-3-NN和2NN的工作机制" class="headerlink" title="3.3 NN和2NN的工作机制"></a>3.3 NN和2NN的工作机制</h2><p><code>NN</code> 经常响应客户请求，所以元数据需存放在内存，提高效率，为了防止<code>NN</code>受损，丢失数据，此时需要有备份元数据的角色，即<code>FsImage</code>。</p>
<p><code>NN</code> 光有<code>FsImage</code>备份元数据，并不能满足同步更新，此时需要有进行元数据更新的角色，即 <code>Edits</code>，它负责存储追加或更新操作的元数据。</p>
<p><code>NN</code>有了<code>FsImage</code>和<code>Edits</code>以后还存在一个问题，<code>Edits</code>无法保存过多文件，同时二者又会定期合并，所以需要有负责合并的角色<code>2NN</code> 即 <code>SecondaryNameNode</code>，专门用于<code>FsImage</code>和<code>Edits</code>的合并。</p>
<h2 id="3-4-NN与2NN的工作机制步骤图"><a href="#3-4-NN与2NN的工作机制步骤图" class="headerlink" title="3.4 NN与2NN的工作机制步骤图"></a>3.4 NN与2NN的工作机制步骤图</h2><p><img src="https://img-blog.csdnimg.cn/9e38b7f4b04d4bb99d076c20c3a41847.png#pic_center" srcset="/img/loading.gif" lazyload alt="在这里插入图片描述"></p>
<h3 id="3-4-1-第一阶段：NN启动"><a href="#3-4-1-第一阶段：NN启动" class="headerlink" title="3.4.1 第一阶段：NN启动"></a>3.4.1 第一阶段：NN启动</h3><p>NN启动主要进行以下4个步骤：</p>
<ol>
<li>第一次启动<code>NN</code>格式化后，创建 <code>Fsimage</code> 和 <code>Edits</code> 文件。若不是第一次启动就直接加载编辑日志和镜像文件到内存。</li>
<li><code>Client </code>对元数据进行增删改的请求。</li>
<li><code>NN </code>记录操作日志，更新滚动日志。</li>
<li><code>NN</code> 在内存中对元数据进行增删改。</li>
</ol>
<h3 id="3-4-2-第二阶段：2NN工作"><a href="#3-4-2-第二阶段：2NN工作" class="headerlink" title="3.4.2 第二阶段：2NN工作"></a>3.4.2 第二阶段：2NN工作</h3><p>2NN工作主要进行以下8个步骤：</p>
<ol>
<li><code>2NN</code>询问 NN 是否需要 <code>CheckPoint</code>，直接带回<code>NN</code>是否检查结果。</li>
<li><code>2NN</code> 请求执行 <code>CheckPoint</code></li>
<li><code>NN</code> 滚动正在写的 <code>Edits</code> 日志</li>
<li><code>NN</code> 将滚动前的编辑日志和镜像文件拷贝到<code> 2NN</code></li>
<li><code>2NN</code> 加载编辑日志和镜像文件到内存，并合并</li>
<li><code>2NN</code>生成新的镜像文件 <code>fsimage.chkpoint</code></li>
<li><code>2NN</code>将<code>fsimage.chkpoint</code>拷贝到<code>NN</code></li>
<li><code>NN</code>将<code>fsimage.chkpoint</code>重新命名成<code>fsimage</code></li>
</ol>
<h1 id="四、Fsimage和Edits的概念"><a href="#四、Fsimage和Edits的概念" class="headerlink" title="四、Fsimage和Edits的概念"></a>四、Fsimage和Edits的概念</h1><p>参考Hadoop集群的配置文件<code>hdfs-site.xml</code>，比如笔者指定了 <code>dfs.namenode.name.dir</code>参数，即NN元数据存储位置，如下所示：</p>
<figure class="highlight xml"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br></pre></td><td class="code"><pre><code class="hljs xml"><span class="hljs-tag">&lt;<span class="hljs-name">property</span>&gt;</span><br>        <span class="hljs-tag">&lt;<span class="hljs-name">name</span>&gt;</span>dfs.namenode.name.dir<span class="hljs-tag">&lt;/<span class="hljs-name">name</span>&gt;</span><br>        <span class="hljs-tag">&lt;<span class="hljs-name">value</span>&gt;</span>file:/opt/module/hadoop/namenode_dir<span class="hljs-tag">&lt;/<span class="hljs-name">value</span>&gt;</span><br><span class="hljs-tag">&lt;/<span class="hljs-name">property</span>&gt;</span><br></code></pre></td></tr></table></figure>

<p>官方默认的配置内容是：<a target="_blank" rel="noopener" href="https://gitee.com/ccuni/hadoop-learn/blob/master/hadoop3.1.3-default-config/hdfs-default.xml">点击查看</a></p>
<figure class="highlight xml"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br></pre></td><td class="code"><pre><code class="hljs xml"><span class="hljs-tag">&lt;<span class="hljs-name">property</span>&gt;</span><br>  <span class="hljs-tag">&lt;<span class="hljs-name">name</span>&gt;</span>dfs.namenode.name.dir<span class="hljs-tag">&lt;/<span class="hljs-name">name</span>&gt;</span><br>  <span class="hljs-tag">&lt;<span class="hljs-name">value</span>&gt;</span>file://$&#123;hadoop.tmp.dir&#125;/dfs/name<span class="hljs-tag">&lt;/<span class="hljs-name">value</span>&gt;</span><br>  <span class="hljs-tag">&lt;<span class="hljs-name">description</span>&gt;</span>...<span class="hljs-tag">&lt;/<span class="hljs-name">description</span>&gt;</span><br><span class="hljs-tag">&lt;/<span class="hljs-name">property</span>&gt;</span><br><br></code></pre></td></tr></table></figure>
<p>以笔者的配置为例，NN格式化后，将在hadoop目录的 <code>namenode_dir/current</code>目录生成以下文件</p>
<figure class="highlight dns"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br></pre></td><td class="code"><pre><code class="hljs dns">fsimage_00000000<span class="hljs-number">00000000000</span><br>fsimage_00000000<span class="hljs-number">00000000000</span>.md5<br>seen_txid<br>VERSION<br></code></pre></td></tr></table></figure>
<p>关于这些文件的说明：</p>
<ul>
<li><code>fsimage_xxxx</code>文件：HDFS 文件系统元数据的一个<strong>永久性</strong>的检查点，其中包含HDFS文件系统的所有目录和 inode的序列化信息</li>
<li><code>edits_xxxx</code>文件：存放 HDFS 文件系统的所有更新操作的路径，文件系统客户端执行的所有写操作首先会被记录到 Edit文件中。（第一次进入后，未进行保存操作所以没有生成该文件）</li>
<li><code>seen_txid</code>：保存的是一个数组，即最后一个<code>edits_xxxx</code>的数字</li>
<li><code>NN</code>每次启动时，都会将<code>Fsimage</code>读入内存，加载 <code>Edits</code>里面的更新操作，保证内存中的元数据信息是最新的、同步的，可以看成<code>NN</code>启动的时候就将 <code>Fsimage</code>和<code>Edits</code>文件进行了合并。</li>
</ul>
<h2 id="4-1-oiv命令查看-Fsimage文件"><a href="#4-1-oiv命令查看-Fsimage文件" class="headerlink" title="4.1 oiv命令查看 Fsimage文件"></a>4.1 oiv命令查看 Fsimage文件</h2><p><strong>查看命令提示：</strong></p>
<p>在启动HDFS后，输入<code>hdfs</code>命令会提示可操作的一些命令，现可以用grep过滤其中的提示信息，将oiv提取出来，或者直接<code>hdfs oiv</code> 查看</p>
<figure class="highlight shell"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br></pre></td><td class="code"><pre><code class="hljs shell">[root@hadoop101 current]# hdfs | grep oiv<br>oiv                  apply the offline fsimage viewer to an fsimage<br>oiv_legacy           apply the offline fsimage viewer to a legacy fsimage<br></code></pre></td></tr></table></figure>

<p><img src="https://img-blog.csdnimg.cn/6fdc4ad75ae04b54b147efcd7e5c270c.png#pic_center" srcset="/img/loading.gif" lazyload alt="在这里插入图片描述"><br><strong>基本语法：</strong></p>
<figure class="highlight shell"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><code class="hljs shell">hdfs oiv -p 文件类型 -i镜像文件 -o 转换后文件输出路径<br></code></pre></td></tr></table></figure>

<p><strong>案例：</strong> 将 fsimage镜像文件转化为 XML 文件，并cat查看<br>（笔者之前进行过HDFS的操作，所以有edits和fsimage文件）</p>
<figure class="highlight shell"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br></pre></td><td class="code"><pre><code class="hljs shell">hdfs oiv -p XML -i fsimage_0000000000000013555 -o ./fsimage_visted.xml<br> <br> cat ./fsimage_visted.xml<br></code></pre></td></tr></table></figure>
<p>查看结果：<br><img src="https://img-blog.csdnimg.cn/949b1fa2cb1a402b9776b6a79897b061.png" srcset="/img/loading.gif" lazyload alt="在这里插入图片描述"><br>有时候Fsimage中没有记录块对应的DN</p>
<p>原因是：集群未启动，只有在集群启动后，NN要求DN上传Block信息，并且是间隔一段时间才会再次上报。</p>
<h2 id="4-2-oev-命令查看-Edits-文件"><a href="#4-2-oev-命令查看-Edits-文件" class="headerlink" title="4.2 oev 命令查看 Edits 文件"></a>4.2 oev 命令查看 Edits 文件</h2><p><strong>基本语法：</strong></p>
<figure class="highlight shell"><table><tr><td class="gutter"><pre><span class="line">1</span><br></pre></td><td class="code"><pre><code class="hljs shell">hdfs oev -p 文件类型 -i 编辑日志 -o 转换后文件输出路径<br></code></pre></td></tr></table></figure>

<p><strong>案例：</strong> 将edits日志转化为XML并查看</p>
<figure class="highlight shell"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br></pre></td><td class="code"><pre><code class="hljs shell">hdfs oev -p XML -i edits_0000000000000000001-0000000000000000001 -o ./edits-visted.xml<br><br>cat ./edits-visted.xml<br></code></pre></td></tr></table></figure>
<p>![在这里插入图片描述](<a target="_blank" rel="noopener" href="https://img-blog.csdnimg.cn/2765fa87ecdd4986bd41cbbb04229625.png#">https://img-blog.csdnimg.cn/2765fa87ecdd4986bd41cbbb04229625.png#</a> &#x3D;80%x)</p>
<h2 id="4-3-CheckPoint-时间设置"><a href="#4-3-CheckPoint-时间设置" class="headerlink" title="4.3 CheckPoint 时间设置"></a>4.3 CheckPoint 时间设置</h2><ul>
<li>通常情况下，2NN每隔一小时刷新一次</li>
</ul>
<p><code>hdfs-default.xml</code><a target="_blank" rel="noopener" href="https://gitee.com/ccuni/hadoop-learn/blob/master/hadoop3.1.3-default-config/hdfs-default.xml">点击查看</a></p>
<figure class="highlight xml"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br></pre></td><td class="code"><pre><code class="hljs xml"><span class="hljs-tag">&lt;<span class="hljs-name">property</span>&gt;</span><br>  <span class="hljs-tag">&lt;<span class="hljs-name">name</span>&gt;</span>dfs.namenode.checkpoint.period<span class="hljs-tag">&lt;/<span class="hljs-name">name</span>&gt;</span><br>  <span class="hljs-tag">&lt;<span class="hljs-name">value</span>&gt;</span>3600s<span class="hljs-tag">&lt;/<span class="hljs-name">value</span>&gt;</span><br>  <span class="hljs-tag">&lt;<span class="hljs-name">description</span>&gt;</span>...<span class="hljs-tag">&lt;/<span class="hljs-name">description</span>&gt;</span><br><span class="hljs-tag">&lt;/<span class="hljs-name">property</span>&gt;</span><br></code></pre></td></tr></table></figure>

<ul>
<li>1分钟检查1次操作次数，当操作次数达到100万时，2NN执行1次<br><code>hdfs-default.xml</code><a target="_blank" rel="noopener" href="https://gitee.com/ccuni/hadoop-learn/blob/master/hadoop3.1.3-default-config/hdfs-default.xml">点击查看</a><figure class="highlight xml"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br></pre></td><td class="code"><pre><code class="hljs xml"><span class="hljs-tag">&lt;<span class="hljs-name">property</span>&gt;</span><br>  <span class="hljs-tag">&lt;<span class="hljs-name">name</span>&gt;</span>dfs.namenode.checkpoint.txns<span class="hljs-tag">&lt;/<span class="hljs-name">name</span>&gt;</span><br>  <span class="hljs-tag">&lt;<span class="hljs-name">value</span>&gt;</span>1000000<span class="hljs-tag">&lt;/<span class="hljs-name">value</span>&gt;</span><br>  <span class="hljs-tag">&lt;<span class="hljs-name">description</span>&gt;</span>...操作动作次数<span class="hljs-tag">&lt;/<span class="hljs-name">description</span>&gt;</span><br><span class="hljs-tag">&lt;/<span class="hljs-name">property</span>&gt;</span><br><br><span class="hljs-tag">&lt;<span class="hljs-name">property</span>&gt;</span><br>  <span class="hljs-tag">&lt;<span class="hljs-name">name</span>&gt;</span>dfs.namenode.checkpoint.check.period<span class="hljs-tag">&lt;/<span class="hljs-name">name</span>&gt;</span><br>  <span class="hljs-tag">&lt;<span class="hljs-name">value</span>&gt;</span>60s<span class="hljs-tag">&lt;/<span class="hljs-name">value</span>&gt;</span><br>  <span class="hljs-tag">&lt;<span class="hljs-name">description</span>&gt;</span>...1分钟检查1次的操作次数<span class="hljs-tag">&lt;/<span class="hljs-name">description</span>&gt;</span><br><span class="hljs-tag">&lt;/<span class="hljs-name">property</span>&gt;</span><br></code></pre></td></tr></table></figure></li>
</ul>
<h1 id="五、DN-工作机制"><a href="#五、DN-工作机制" class="headerlink" title="五、DN 工作机制"></a>五、DN 工作机制</h1><p><img src="https://img-blog.csdnimg.cn/7f60c38fd3b547f184a183866458db87.png#pic_center" srcset="/img/loading.gif" lazyload alt="在这里插入图片描述"></p>
<ol>
<li>一个Block数据块在DN上以文件形式存储在磁盘，包括两个文件，一个是数据本身，另一个是元数据，包括数据块的长度、块数据的校验和以及时间戳。</li>
<li>DN启动后向NN注册，通过后，DN周期性（6小时1次）得向NN上报所有的块信息，这时间来自配置文件：</li>
</ol>
<p><code>hdfs-default.xml</code><a target="_blank" rel="noopener" href="https://gitee.com/ccuni/hadoop-learn/blob/master/hadoop3.1.3-default-config/hdfs-default.xml">点击查看</a></p>
<figure class="highlight xml"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br></pre></td><td class="code"><pre><code class="hljs xml"><span class="hljs-tag">&lt;<span class="hljs-name">property</span>&gt;</span><br>  <span class="hljs-tag">&lt;<span class="hljs-name">name</span>&gt;</span>dfs.blockreport.intervalMsec<span class="hljs-tag">&lt;/<span class="hljs-name">name</span>&gt;</span><br>  <span class="hljs-tag">&lt;<span class="hljs-name">value</span>&gt;</span>21600000<span class="hljs-tag">&lt;/<span class="hljs-name">value</span>&gt;</span><br>  <span class="hljs-tag">&lt;<span class="hljs-name">description</span>&gt;</span>...DN向NN汇报当前解读信息的时间间隔，默认6小时1次<span class="hljs-tag">&lt;/<span class="hljs-name">description</span>&gt;</span><br><span class="hljs-tag">&lt;/<span class="hljs-name">property</span>&gt;</span><br><br><span class="hljs-tag">&lt;<span class="hljs-name">property</span>&gt;</span><br>  <span class="hljs-tag">&lt;<span class="hljs-name">name</span>&gt;</span>dfs.datanode.directoryscan.interval<span class="hljs-tag">&lt;/<span class="hljs-name">name</span>&gt;</span><br>  <span class="hljs-tag">&lt;<span class="hljs-name">value</span>&gt;</span>21600s<span class="hljs-tag">&lt;/<span class="hljs-name">value</span>&gt;</span><br>  <span class="hljs-tag">&lt;<span class="hljs-name">description</span>&gt;</span>...DN扫描自己节点块信息列表的时间，默认6小时1次<span class="hljs-tag">&lt;/<span class="hljs-name">description</span>&gt;</span><br><span class="hljs-tag">&lt;/<span class="hljs-name">property</span>&gt;</span><br></code></pre></td></tr></table></figure>
<ol start="3">
<li>DN的心跳是每<strong>3秒一次</strong>，心跳返回结果带有 NN给该DN的命令，比如复制块数据到另一台机器，或者删除某个Block，如果超过10分钟NN没有收到某个DN的心跳，则认为该DN节点不可用。</li>
<li>集群运行过程中可以安全进入和退出一些机器。</li>
</ol>
<h2 id="5-1-DN保证数据完整性"><a href="#5-1-DN保证数据完整性" class="headerlink" title="5.1 DN保证数据完整性"></a>5.1 DN保证数据完整性</h2><p><code>DN</code>保证数据完整性的方法：</p>
<ol>
<li>当<code>DN</code>读取 <code>Block</code>时，会计算<code>CheckSum</code></li>
<li>若计算后的<code>CheckSum</code> 与 <code>Block</code> 创建时值不一样，说明 <code>Block</code>已损坏。</li>
<li><code>Client </code>读取其他的 <code>DN</code> 上的 <code>Block</code></li>
<li>常见校验算法，<code>crc（32），MD5（128），sha1（160）</code></li>
<li><code>DN</code> 在其文件创建后会周期验证 <code>CheckSum</code></li>
</ol>
<h2 id="5-2-DN掉线的时限制参数设置"><a href="#5-2-DN掉线的时限制参数设置" class="headerlink" title="5.2 DN掉线的时限制参数设置"></a>5.2 DN掉线的时限制参数设置</h2><ol>
<li>DN进程死亡或网络故障造成DN无法与NN通信。</li>
<li>NN不会立即把该节点判定会死亡，要经过一段时间，这段时间暂称作超时时长。</li>
<li>HDFS 默认的超时时长为 10 分钟 + 30秒。</li>
<li>若定义超时时间为 TimeOut，则它的计算公式为：</li>
</ol>
<p>$$TimeOut &#x3D; 2 * recheckInterval +10 * interval$$</p>
<p>其中，$reqcheckInterval$ 取值为 <code>dfs.namenode.heartbeat.recheck-interval</code>，默认为5分钟，</p>
<p>$interval$ 取值为<code>dfs.heartbeat.interval</code>，默认为3秒，若需要自定义的话就修改<code>hdfs-site.xml</code>配置文件。</p>
<p>参考默认配置文件：<code>[hdfs-default.xml]</code> <a target="_blank" rel="noopener" href="https://gitee.com/ccuni/hadoop-learn/blob/master/hadoop3.1.3-default-config/hdfs-default.xml">点击查看</a></p>
<figure class="highlight xml"><table><tr><td class="gutter"><pre><span class="line">1</span><br><span class="line">2</span><br><span class="line">3</span><br><span class="line">4</span><br><span class="line">5</span><br><span class="line">6</span><br><span class="line">7</span><br><span class="line">8</span><br><span class="line">9</span><br><span class="line">10</span><br><span class="line">11</span><br></pre></td><td class="code"><pre><code class="hljs xml"><span class="hljs-tag">&lt;<span class="hljs-name">property</span>&gt;</span><br>  <span class="hljs-tag">&lt;<span class="hljs-name">name</span>&gt;</span>dfs.namenode.full.block.report.lease.length.ms<span class="hljs-tag">&lt;/<span class="hljs-name">name</span>&gt;</span><br>  <span class="hljs-tag">&lt;<span class="hljs-name">value</span>&gt;</span>300000<span class="hljs-tag">&lt;/<span class="hljs-name">value</span>&gt;</span><br>  <span class="hljs-tag">&lt;<span class="hljs-name">description</span>&gt;</span>..DN验证时间<span class="hljs-tag">&lt;/<span class="hljs-name">description</span>&gt;</span><br><span class="hljs-tag">&lt;/<span class="hljs-name">property</span>&gt;</span><br><br><span class="hljs-tag">&lt;<span class="hljs-name">property</span>&gt;</span><br>  <span class="hljs-tag">&lt;<span class="hljs-name">name</span>&gt;</span>dfs.heartbeat.interval<span class="hljs-tag">&lt;/<span class="hljs-name">name</span>&gt;</span><br>  <span class="hljs-tag">&lt;<span class="hljs-name">value</span>&gt;</span>3s<span class="hljs-tag">&lt;/<span class="hljs-name">value</span>&gt;</span><br>  <span class="hljs-tag">&lt;<span class="hljs-name">description</span>&gt;</span>..DN心跳时间<span class="hljs-tag">&lt;/<span class="hljs-name">description</span>&gt;</span><br><span class="hljs-tag">&lt;/<span class="hljs-name">property</span>&gt;</span><br></code></pre></td></tr></table></figure>

                
              </div>
            
            <hr/>
            <div>
              <div class="post-metas my-3">
  
    <div class="post-meta mr-3 d-flex align-items-center">
      <i class="iconfont icon-category"></i>
      

<span class="category-chains">
  
  
    
      <span class="category-chain">
        
  <a href="/categories/%E5%A4%A7%E6%95%B0%E6%8D%AE/" class="category-chain-item">大数据</a>
  
  

      </span>
    
  
</span>

    </div>
  
  
    <div class="post-meta">
      <i class="iconfont icon-tags"></i>
      
        <a href="/tags/HDFS/">#HDFS</a>
      
    </div>
  
</div>


              
  

  <div class="license-box my-3">
    <div class="license-title">
      <div>Hadoop _ HDFS 学习笔记（三）HDFS 读写流程 _ NN、2NN、DN 工作机制 _ FsImage与Edits的合并</div>
      <div>http://example.com/2022/01/18/Hadoop _ HDFS 学习笔记（三）HDFS 读写流程 _ NN、2NN、DN 工作机制 _ FsImage与Edits的合并/</div>
    </div>
    <div class="license-meta">
      
        <div class="license-meta-item">
          <div>作者</div>
          <div>John Doe</div>
        </div>
      
      
        <div class="license-meta-item license-meta-date">
          <div>发布于</div>
          <div>2022年1月18日</div>
        </div>
      
      
      <div class="license-meta-item">
        <div>许可协议</div>
        <div>
          
            
            
              <a target="_blank" href="https://creativecommons.org/licenses/by/4.0/">
              <span class="hint--top hint--rounded" aria-label="BY - 署名">
                <i class="iconfont icon-by"></i>
              </span>
              </a>
            
          
        </div>
      </div>
    </div>
    <div class="license-icon iconfont"></div>
  </div>



              
                <div class="post-prevnext my-3">
                  <article class="post-prev col-6">
                    
                    
                      <a href="/2022/01/19/Spring%20%E7%AC%94%E8%AE%B01%20Spring%E4%B8%A4%E5%A4%A7%E6%A0%B8%E5%BF%83%E6%8A%80%E6%9C%AFIOC%E6%8E%A7%E5%88%B6%E5%8F%8D%E8%BD%AC_DI%E4%BE%9D%E8%B5%96%E6%B3%A8%E5%85%A5%E5%92%8CAOP%E9%9D%A2%E5%90%91%E5%88%87%E9%9D%A2%20%E6%A1%88%E4%BE%8B%20_%20%E4%BC%98%E5%8C%96%E4%BC%A0%E7%BB%9F%E7%9A%84Web%E5%BC%80%E5%8F%91%20_%20MVC%E6%9E%B6%E6%9E%84DAO%E5%B1%82%E4%B8%8EService%E5%B1%82%E4%B9%8B%E9%97%B4%E7%9A%84%E8%A7%A3%E8%80%A6/" title="Spring 笔记1 Spring两大核心技术IOC控制反转_DI依赖注入和AOP面向切面 案例 _ 优化传统的Web开发 _ MVC架构DAO层与Service层之间的解耦">
                        <i class="iconfont icon-arrowleft"></i>
                        <span class="hidden-mobile">Spring 笔记1 Spring两大核心技术IOC控制反转_DI依赖注入和AOP面向切面 案例 _ 优化传统的Web开发 _ MVC架构DAO层与Service层之间的解耦</span>
                        <span class="visible-mobile">上一篇</span>
                      </a>
                    
                  </article>
                  <article class="post-next col-6">
                    
                    
                      <a href="/2022/01/18/Hadoop%20_%20HDFS%20%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0%EF%BC%88%E4%BA%8C%EF%BC%89HDFS%20Java%20API%20%E7%8E%AF%E5%A2%83%E6%90%AD%E5%BB%BA%20_%20Java%E6%93%8D%E4%BD%9CHDFS%E6%96%87%E4%BB%B6%E7%B3%BB%E7%BB%9F%20_%20%E5%A4%9A%E6%A1%88%E4%BE%8B/" title="Hadoop _ HDFS 学习笔记（二）HDFS Java API 环境搭建 _ Java操作HDFS文件系统 _ 多案例">
                        <span class="hidden-mobile">Hadoop _ HDFS 学习笔记（二）HDFS Java API 环境搭建 _ Java操作HDFS文件系统 _ 多案例</span>
                        <span class="visible-mobile">下一篇</span>
                        <i class="iconfont icon-arrowright"></i>
                      </a>
                    
                  </article>
                </div>
              
            </div>

            
          </article>
        </div>
      </div>
    </div>

    <div class="side-col d-none d-lg-block col-lg-2">
      
  <aside class="sidebar" style="margin-left: -1rem">
    <div id="toc">
  <p class="toc-header"><i class="iconfont icon-list"></i>&nbsp;目录</p>
  <div class="toc-body" id="toc-body"></div>
</div>



  </aside>


    </div>
  </div>
</div>





  



  



  



  



  







    

    
      <a id="scroll-top-button" aria-label="TOP" href="#" role="button">
        <i class="iconfont icon-arrowup" aria-hidden="true"></i>
      </a>
    

    
      <div class="modal fade" id="modalSearch" tabindex="-1" role="dialog" aria-labelledby="ModalLabel"
     aria-hidden="true">
  <div class="modal-dialog modal-dialog-scrollable modal-lg" role="document">
    <div class="modal-content">
      <div class="modal-header text-center">
        <h4 class="modal-title w-100 font-weight-bold">搜索</h4>
        <button type="button" id="local-search-close" class="close" data-dismiss="modal" aria-label="Close">
          <span aria-hidden="true">&times;</span>
        </button>
      </div>
      <div class="modal-body mx-3">
        <div class="md-form mb-5">
          <input type="text" id="local-search-input" class="form-control validate">
          <label data-error="x" data-success="v" for="local-search-input">关键词</label>
        </div>
        <div class="list-group" id="local-search-result"></div>
      </div>
    </div>
  </div>
</div>

    

    
  </main>

  <footer>
    <div class="footer-inner">
  
    <div class="footer-content">
       <a href="https://hexo.io" target="_blank" rel="nofollow noopener"><span>Hexo</span></a> <i class="iconfont icon-love"></i> <a href="https://github.com/fluid-dev/hexo-theme-fluid" target="_blank" rel="nofollow noopener"><span>Fluid</span></a> 
    </div>
  
  
  
  
</div>

  </footer>

  <!-- Scripts -->
  
  <script  src="https://lib.baomitu.com/nprogress/0.2.0/nprogress.min.js" ></script>
  <link  rel="stylesheet" href="https://lib.baomitu.com/nprogress/0.2.0/nprogress.min.css" />

  <script>
    NProgress.configure({"showSpinner":false,"trickleSpeed":100})
    NProgress.start()
    window.addEventListener('load', function() {
      NProgress.done();
    })
  </script>


<script  src="https://lib.baomitu.com/jquery/3.6.0/jquery.min.js" ></script>
<script  src="https://lib.baomitu.com/twitter-bootstrap/4.6.1/js/bootstrap.min.js" ></script>
<script  src="/js/events.js" ></script>
<script  src="/js/plugins.js" ></script>


  <script  src="https://lib.baomitu.com/typed.js/2.0.12/typed.min.js" ></script>
  <script>
    (function (window, document) {
      var typing = Fluid.plugins.typing;
      var subtitle = document.getElementById('subtitle');
      if (!subtitle || !typing) {
        return;
      }
      var text = subtitle.getAttribute('data-typed-text');
      
        typing(text);
      
    })(window, document);
  </script>




  
    <script  src="/js/img-lazyload.js" ></script>
  




  
<script>
  Fluid.utils.createScript('https://lib.baomitu.com/tocbot/4.18.2/tocbot.min.js', function() {
    var toc = jQuery('#toc');
    if (toc.length === 0 || !window.tocbot) { return; }
    var boardCtn = jQuery('#board-ctn');
    var boardTop = boardCtn.offset().top;

    window.tocbot.init({
      tocSelector     : '#toc-body',
      contentSelector : '.markdown-body',
      headingSelector : CONFIG.toc.headingSelector || 'h1,h2,h3,h4,h5,h6',
      linkClass       : 'tocbot-link',
      activeLinkClass : 'tocbot-active-link',
      listClass       : 'tocbot-list',
      isCollapsedClass: 'tocbot-is-collapsed',
      collapsibleClass: 'tocbot-is-collapsible',
      collapseDepth   : CONFIG.toc.collapseDepth || 0,
      scrollSmooth    : true,
      headingsOffset  : -boardTop
    });
    if (toc.find('.toc-list-item').length > 0) {
      toc.css('visibility', 'visible');
    }
  });
</script>


  <script src=https://lib.baomitu.com/clipboard.js/2.0.10/clipboard.min.js></script>

  <script>Fluid.plugins.codeWidget();</script>


  
<script>
  Fluid.utils.createScript('https://lib.baomitu.com/anchor-js/4.3.1/anchor.min.js', function() {
    window.anchors.options = {
      placement: CONFIG.anchorjs.placement,
      visible  : CONFIG.anchorjs.visible
    };
    if (CONFIG.anchorjs.icon) {
      window.anchors.options.icon = CONFIG.anchorjs.icon;
    }
    var el = (CONFIG.anchorjs.element || 'h1,h2,h3,h4,h5,h6').split(',');
    var res = [];
    for (var item of el) {
      res.push('.markdown-body > ' + item.trim());
    }
    if (CONFIG.anchorjs.placement === 'left') {
      window.anchors.options.class = 'anchorjs-link-left';
    }
    window.anchors.add(res.join(', '));
  });
</script>


  
<script>
  Fluid.utils.createScript('https://lib.baomitu.com/fancybox/3.5.7/jquery.fancybox.min.js', function() {
    Fluid.plugins.fancyBox();
  });
</script>


  <script>Fluid.plugins.imageCaption();</script>

  <script  src="/js/local-search.js" ></script>





<!-- 主题的启动项，将它保持在最底部 -->
<!-- the boot of the theme, keep it at the bottom -->
<script  src="/js/boot.js" ></script>


  

  <noscript>
    <div class="noscript-warning">博客在允许 JavaScript 运行的环境下浏览效果更佳</div>
  </noscript>
</body>
</html>
